Theo sách “Phạm tộc gia phả”, Phạm Văn Toán sinh ngày 30 tháng 2 âm lịch năm Giáp Thìn (tức 1844), trong một danh gia vọng tộc tại làng Láng, Yên Lãng thuộc phủ Hoài Đức xưa, sau thuộc huyện Hoàn Long, tỉnh Hà Đông, nay thuộc phố Pháo Đài Láng, quận Đống Đa, Hà Nội. Ông là vị quan triều Nguyễn, tuy chỉ giữ chức quan tỉnh nhưng lại được phong hàm ngang với các quan đầu triều.